Ngay khi nhập biên chế, I-28 được phối thuộc cùng Quân khu Hải quân Kure.[6] Vào ngày 24 tháng 2, 1942, nó gia nhập Đội tàu ngầm 14 trực thuộc Đệ Lục hạm đội.[6][7] Đến ngày 10 tháng 3, Đội tàu ngầm 14 được điều động về Hải đội Tàu ngầm 8 và trực thuộc Đệ Lục hạm đội.[6] I-28 cùng Đội tàu ngầm 14 (còn bao gồm các chiếc I-27 và I-29) và Đội tàu ngầm 3 (các chiếc I-21, I-22 và I-24) được điều sang Lực lượng Tiền phương phía Đông, và rời Kure vào ngày 15 tháng 4 để hỗ trợ cho kế hoạch chiếm Port Moresby, Papua New Guinea.[7]

Sau khi đi đến căn cứ Truk vào ngày 24 tháng 4, I-28 khởi hành sáu ngày sau đó để tuần tra về phía Đông Nam Guadalcanal cho đến ngày 5 tháng 5.[7] Khi kế hoạch chiếm Port Moresby bị hủy bỏ sau Trận chiến biển Coral, đến ngày 11 tháng 5, I-28 cùng với I-22, I-24 và I-27 được gọi quay trở lại Truk.[7] Lúc 06 giờ 30 phút ngày 16 tháng 5, tại vị trí cách 250 mi (400 km) về phía Đông Bắc Rabaul, chiếc tàu ngầm báo cáo gặp trục trặc động cơ diesel, và sau đó nó mất liên lạc với căn cứ.[7]

Vào ngày 17 tháng 5, tàu ngầm Hoa Kỳ USS Tautog đánh chặn hai tàu ngầm (có thể là I-22 và I-24) lúc 06 giờ 48 phút, nhưng không thành công.[7] Đến 10 giờ 50 phút, nó phát hiện một tàu ngầm thứ ba với số hiệu I-28 trên tháp chỉ huy.[7] Tautog tấn công với hai quả ngư lôi lúc 11 giờ 01 phút, và một quả trúng đích khiến mục tiêu chết đứng và nghiêng sang mạn phải.[7] Tautog tiếp cận đến khoảng cách 800 yd (730 m) lúc 11 giờ 07 phút, và phóng thêm một quả ngư lôi trúng ngay bên dưới tháp chỉ huy.[7] I-28 đắm tại tọa độ 06°30′B 152°00′Đ / 6,5°B 152°Đ / 6.500; 152.000 với tổn thất toàn bộ thủy thủ đoàn.[7]

Tên của I-28 được cho rút khỏi đăng bạ hải quân vào ngày 15 tháng 6, 1944.[7][6]